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Autokalibrieruna von Multtproiektorsvstemen 

Einleitung 

Die Erfindung betrifft ein Verfahren zur automatischen Kalibrierung eines Mul- 
tiprojektorsystems, das erlaubt, eine beliebige Anzahl von Bildern, die ovn ver- 
schiedenen Projektoren erzeugt werden, pixelgenau ubereinander zu legen, 
um die Gesamtleuchtstarke zu erhohen bzw. eine Stereodarstellung zu ermog- 
lichen. 

Problembeschreibung 

Um die Gesamthelligkeit eines Bildes zu erhohen bzw. um ein Passiv-Stereo- 
Bild zu erzeugen, ist es notwendig, dass mehrere Projektoren denselben Be- 
reich der Projektionsflache beleuchten. Bei dieser Bilddarstellung besteht das 
Problem, dass die Einzelbilder der Projektionseinheiten in der Regel nicht uber- 
einander liegen. Diese Kalibrierung wird momentan manuell getatigt und ist 
mit hohem Aufwand verbunden und zu ungenau. 

Aufgabe der Erfindung ist es, eine pixelgenaue Auto-Kalibrierung zu imple- 
mentieren, die die umstandliche manuelle Feinjustage uberflussig macht. Diese 
Kalibrierung entzerrt zusatzlich noch durch die Geometrie der Projektionsflache 
bzw. durch den Projektor (Keystone) hervorgerufene Bildverzerrungen bezug- 
lich einer Kamera. 

Zur Losung der vorstehend genannten Aufgabe wird mit der Erfindung ein 
Multiprojektor-Autokaiibrierungssystem vorgeschlagen, das versehen ist mit 

mindestens zwei Projektoren, 

eine Digital-Kamera und 
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einer Ansteuerungseinheit zur Ansteuerung der Projektoren und der 
Kamera. 

Die Autokalibrierung wird gemaB fplgender Schritte durchgefuhrt: 
5 - Erzeugung, Aufnahme und Bildfilterung von Streifenmustern, 
Finden der groBtmoglichen Projektionsflache und 
Berechnung der Warp-Felder und Imagewarping. 

Im folgenden sollen die Teilschritte der Autokalibrierung anhand der Abbildun- 
gen kurz erlautert werden. 

Im einzelnen zeigen: 





Abb. 


1 


Versuchsaufbau mit zwei Projektoren, 


15 


Abb. 


2 


Hintergrundbild (Projektion zweier schwarzer Flachen) 




Abb. 


3 


horizontale Streifenprojektion des linken Projektors, 




Abb. 


4 


horizontale Streifenprojektion des rechten Projektors, 




Abb. 


5 


vertikale Streifenprojektion des linken Projektors, 




Abb. 


6 


vertikale Streifenprojektion des rechten Projektors, 
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Abb. 


7 


erkanntes Gitternetz und groBte, gemeinsame Projektionsflache, 




Abb. 


8 


gewarptes Bild des linken Projektors, 




Abb. 


9 


gewarptes Bild des rechten Projektors, 




Abb. 


10 


entzerrtes Bild des linken Projektors (rechter Projektor ist abgedeckt) 




Abb. 


11 


entzerrtes Bild beider Projektoren ubereinander und 
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Abb. 


12 Vergleich der Leuchtstarke. 



Erzeugung, Aufnahme und Bildfilterung der Streifenmuster 

Um eine erfolgreiche Geometrieentzerrung mittels Imagewarping [1] durch- 
3 0 fuhren zu konnen, muss zuerst die zugrunde liegende Geometrie erfasst wer- 
den. Dies geschieht durch die Aufnahme von projizierten vertikalen und hori- 
zontalen Streifenmustern. Diese Streifen haben einen konstanten Abstand, der 
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je nach Komplexitat der zu entzerrenden Geometrie zu wahlen ist. Bei dem 
hier beschriebenen Ausfuhrungsbeispiel wurde ein Streifenabstand von zwan- 
zig Pixeln gewahlt, da die Wand viele UnregelmaSigkeiten aufwies. Andere 
Streifenabstande und Anordnungen sind moglich. Die projizierten Streifen 
5 werden fur alle Projektoren aufgenommen (in unserem Fall zwei Projektoren 
= > zwei vertikale und zwei horizontale Streifenbilder). Zusatzlich wird noch ein 
Bild aufgenommen, bei dem beide Projektoren auf Schwarz geschaltet sind, 
um den teilweise storenden Hintergrund bzw. niedriges Rauschen entfernen zu 
konnen. Dieses Hintergrundbild wird vor der weiteren Bildfilterung von alien 

^.0 aufgenommen Bildern subtrahiert. Die aufgenommen Bilder sind in den Abb. 2 

1 bis 6 zu sehen. 



Auf Grund der Verwendung einer Linsenkamera zeigen die aufgenommenen 
Bilder typische radiale Verzerrungen auf, die vor der Weiterverarbeitung ent- 
15 fernt werden mussen. Dies wird durch ein in [2] beschriebenes Verfahren er- 
reicht. Bei verzerrungsfreier Aufnahme kann dieser Schritt entfallen. 

Die eigentliche Filterung wurde mit Standardbildverarbeitungsfilteroperationen 
durchgefuhrt. Nach der Bildsubtraktion von zu filterndem Bild und Hinter- 

20 grundbild wird das Ergebnisbild in Graustufen umgewandelt, so dass jeder der 
drei Farbkanale denselben Farbwert hat. AnschlieSend wird dieses Bild in Ab- 

^ hangigkeit eines Schwellwertes in ein Schwarz/WeiB-Bild umgewandelt, wobei 
die Streifen WeiB sind und der Hintergrund Schwarz. Um Locher in den Strei- 
fen zu entfernen wird eine Dilation und Erosion durchgefuhrt. AnschlieBend 

25 mussen die Linien noch derart gefiltert werden, dass sie nur noch einen Pixel 
breit sind. Dies geschieht mit Hilfe eines vertikalen bzw. horizontalen Versatz- 
filters. Dieser Versatzfilter wird in zwei Richtungen ausgefuhrt (links und rechts 
bzw. oben und unten). Der Mittelwert der Ergebnisse dieser beiden Filterope- 
rationen liefert den Mittelpunkt des Streifens. Die gefilterten Streifen werden 

3 0 nun durch ihre Mittelpunkte reprasentiert. 



l> i, 
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Samtliche Filteroperationen wurden mittels an sicht bekannter Pixelshader 
hardwareunterstutzt umgesetzt. 

Berechnung der groBtmoglichen Projektionsflache 

5 

Um eine deckungsgleiche Wahrnehmung zu gewahrleisten, muss die groSte 
gemeinsame Projektionsflache aller Projektoren im Originalbildverhaltnis (in 
diesem Ausfuhrungsbeispiel 4:3) bestimmt werden. Dazu wird zuerst aus den 
gefilterten Streifenmustern ein Gitternetz erzeugt. Mit Hilfe eines Optimie- 
^lo rungsalgorithmus wird innerhalb dieses Netzes, welches in unserem Fall aus 
zwei Teilgitternetzen besteht, die groBte gemeinsame Projektionsflache 
„gesucht". Das Gitter des linken (griin) und rechten (rot) Projektors sowie die 
Zielprojektionsflache sind in Abb. 7 dargestellt. Aus diesen Daten konnen im 
Anschluss die Parameter fur das Warping bestimmt werden. 

Berechnung der Warp-Felder und Imagewarping 

Mithilfe des zuvor berechneten Gitters kann das Bild in Warpingpatches zerlegt 
werden. Diese Patches bestehen aus einem Dest-Patch (der Bildbereich an den 

2 0 ein Bildteil gewarpt werden soil) und einem Src-Patch (der Bildbereich der in 

den Dest-Patch gewarpt wird). 

Die Eckpunkt-Berechnung der Dest-Patches ist trivial. Aufgrund des vorgege- 
benen Abstands der horizontalen und vertikalen Linien ist somit auch die Posi- 
25 tion samtlicher Gitterpunkte im Ziel bekannt. 

Die Src-Patches werden in Abhangigkeit des Projektionsrechteckes (im Foto) 
und der Position der Dest-Patches (im Foto) linear berechnet. Es wird die Be- 
rechnung fur die linke untere Ecke eines Src-Patches in Abhangigkeit der lin- 

3 0 ken unteren Ecke eines Dest-Patches aufgezeigt: 
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- projectionRect left) / (projectionRect. right 



patch, xl = (pLB.X 
projectionRect left); 

patch, yl = (pLB.Y - 
projectionRect. bottom ). 



projectionRect. bottom ) / 



( projectionRect. top - 



Das Src-Patch wird mittels eines Warping-Verfahrens inklusive integrierter 
perspektivischer Korrektur in das Dest-Patch transformiert. 

Wird der Abstand der horizontalen und vertikalen Linien relativ klein gewahlt, 
ist auch der Ausgleich von Krummungen realisiefbar. Mit den bei den Ver- 
suchen gewahlten Linienabstanden von zwanzig Pixeln war es bereits moglich, 
Krummungen der Wand auszugleichen. 



15 Bei einer Zweiprojektorkalibrierung mussen zwei Warp-Arrays berechnet wer- 
den, bei mehr als zwei Projektoren entsprechend mehr. Die Warp-Arrays wer- 
den immer in Abhangigkeit der korrespondierenden Gitterpunkte mit der Be- 
schrankung durch die gemeinsame groBte Projektionsflache bestimmt. Die fur 
eine Zweikanalprojektion berechneten gewarpten Bilder sind in Abb. 8 und 9 

2 0 zu sehen. Das Ergebnis an der Projektionsflache ist fur einen Projektor in Abb. 

10 und fur zwei Projektoren in Abb. 11 zu sehen. Der Vergleich der Leucht- 
P starke ist in Abb. 12 dargestellt. 

Um eine effektive Verarbeitung zu gewahrleisten, wird die Autokalibrierung nur 
25 einmal (pro Sitzung) durchgefuhrt. Aus diesem Grund werden die fur die Geo- 
metrieentzerrung und Multiprojektorkalibrierung berechneten Daten in Warp- 
Feldern gespeichert, welche z.B. vom X-Rooms™-System[3] verwendet wer- 
den konnen. Die Entzerrung mittels der Warp-Felder wurde wiederum hard- 
wareunterstutzt umgesetzt, so dass eine Entzerrung in Echtzeit moglich ist. 

30 



Anwendungsgebiete 



Fur eine Multiprojektorkalibrierung gibt es viele Anwendungsgebiete. Sie kann 
beispielsweise zur kostengunstigen Leuchtstarkeerhohung bzw. zur Stereoka- 
librierung verwendet werden. Des weiteren kann ohne groBen Aufwand eine 
Geometrie- und Projektorbedingte Entzerrung durchgefuhrt werden. Die Auto- 
kalibrierung eines Zweiprojektorsystems mittels des erfindungsgemaBen Ver- 
fahrens dauert 35 Sekunden inklusive der Bildaufnahme (ca. 20 Sekunden). 
Sie stellt eine signifikante Steigerung gegenuber der manuellen Kalibrierung 
dar. 

Literatur 

[1] S. Klose. 3D Geometheentzerrung mittels Imagewarping, Berlin, 2002 
[2] S. Klose. Kamerakalibrierung mittels linearer Optimierung, Berlin, 2001 
[3] K. Isakovic, T. Dudziak, K. Kochy. X-Rooms. A PC-based immersive 
visualization environment, Web 3D Conference, Tempe, Arizona, 2002. 

Des weiteren verwendete Literatur: 

R. Klette, A. Koschan, K. Schluns. Computer Vision Raumliche Information aus 
digitalen Bildern, VIEWEG, Braunschweig / Wiesbaden, Juni 1996 

S.S. Beauchemin, R. Bajcsy, G. Givaty. Modelling and Removing Radial and 
Tangential Distortions in Spherical Lenses, 1999 

Z. Zhang. A flexible new technique for camera calibration. IEEE Transactions 
on Pattern Analysis and Machine Intelligence, 22(11): 1330-1334, 2000. 

Z. Zhang. Flexible Camera Calibration By Viewing a Plane From Unknown 
Orientations. International Conference on Computer Vision (ICCV'99), Corfu, 
Greece, pages 666-673, September 1999. 



- 7 - 



G. Wolberg. Digital Image Warping, IEEE Computer Society Press Los 
Alamitos, California, 1990. 

Jae S. Lim. Two-Dimensional Signal And Image Processing, P T R Prentice Hall, 
5 Englewood Cliffs, New Jersey, 1990. 



ANSPRUCH 



System zur automatischen Kalibrierung eines Multiprojektorsystems mit 
mit mindestens zwei Projektoren, 
einer Digital-Kamera und 

einer Ansteuerungseinheit zur Ansteuerung der Projektoren und der 
Karnera, 

wobei eine Autokalibrierung gemaB folgender Schritte durchgefuhrt wird 
Erzeugung, Aufnahme und Bildfilterung von Streifenmustern, 
Finden der groBtmoglichen Projektionsflache und 
Berechnung der Warp-Felder und Imagewarping. 



ZUSAMMENFASSUNG 
Autokalibrierunq von Multiproiektorsvstemen 



Das System zur automatischen Kalibrierung eines Multiprojektorsystems weist 
mindestens zwei Projektoren, eine Digital-Kamera und eine Ansteuerungsein- 
heit zur Ansteuerung der Projektoren und der Kamera auf. Die Autokalibrie- 
rung wird gemaB folgender Schritte durchgefuhrt: 

Erzeugung, Aufnahme und Bildfilterung von Streifenmustern, 

Finden der groBtmoglichen Projektionsflache und 

Berechnung der Warp-Felder und Imagewarping. 



(Abb. 1) 
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Abb. 2 




Abb. 4 




Abb 6 
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Abb. 10 
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Abb. 12 



